部署的ML模型的基本要求是从与培训不同的测试分布中汲取的数据概括。解决此问题的一个流行解决方案是，仅使用未标记的数据将预训练的模型调整为新的域。在本文中，我们关注该问题的挑战性变体，其中访问原始源数据受到限制。虽然完全测试时间适应（FTTA）和无监督的域适应性（UDA）密切相关，但由于大多数UDA方法需要访问源数据，因此UDA的进展不容易适用于TTA。因此，我们提出了一种新方法，即Cattan，它通过放松了通过新颖的深层子空间对准策略来放松访问整个源数据的需求，从而弥合了UDA和FTTA。通过为源数据存储的子空间基础设置的最小开销，Cattan在适应过程中可以在源数据和目标数据之间进行无监督的对齐。通过对多个2D和3D Vision基准测试（Imagenet-C，Office-31，OfficeHome，Domainnet，PointDa-10）和模型体系结构进行广泛的实验评估，我们在FTTA性能方面表现出显着提高。此外，即使使用固有健壮的模型，预训练的VIT表示以及目标域中的样本可用性低，我们也会对对齐目标的实用性做出许多关键发现。

无监督域适应（UDA）旨在将知识从标记的源域传输到未标记的目标域。传统上，基于子空间的方法为此问题形成了一类重要的解决方案。尽管他们的数学优雅和易腐烂性，但这些方法通常被发现在产生具有复杂的现实世界数据集的领域不变的功能时无效。由于近期具有深度网络的代表学习的最新进展，本文重新访问了UDA的子空间对齐，提出了一种新的适应算法，始终如一地导致改进的泛化。与现有的基于对抗培训的DA方法相比，我们的方法隔离了特征学习和分配对准步骤，并利用主要辅助优化策略来有效地平衡域不契约的目标和模型保真度。在提供目标数据和计算要求的显着降低的同时，基于子空间的DA竞争性，有时甚至优于几种标准UDA基准测试的最先进的方法。此外，子空间对准导致本质上定期的模型，即使在具有挑战性的部分DA设置中，也表现出强大的泛化。最后，我们的UDA框架的设计本身支持对测试时间的新目标域的逐步适应，而无需从头开始重新检测模型。总之，由强大的特征学习者和有效的优化策略提供支持，我们将基于子空间的DA建立为可视识别的高效方法。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

我们考虑载有X_ {t + 1} = \ phi（a ^ * x_t）+ \ eta_t $的设置，其中$ \ eta_t $是无偏见的噪音和$ \ phi：\ mathbb {r \ to \ mathbb {r} $是已知的链接功能，满足某些{\ em扩展性属性}。目标是从单个轨迹$ x_1，\ cdots，x_t $的{\ em依赖或相关}样本中学习$ a ^ * $。虽然在线性案例中，在线性案例中的问题很好，而$ \ phi $是身份，但对于非混音系统，最佳错误率，即使是非混音系统，也存在于非线性案例的结果仅适用于混合系统。在这项工作中，我们以多种方式改善了用于学习非线性系统的现有结果：a）我们提供了在没有混合假设的情况下学习非线性动态系统的第一个离线算法，B）我们显着提高了现有的样本复杂性结果混合系统，c）在更难的单遍，流媒体设置中，我们研究了一个具有反向体验的SGD（$ \ MATHSF {SGD-RER} $）方法，并证明用于混合系统，它实现了相同的样本复杂性作为我们的离线算法，d）我们通过表示流行的Relu链接功能来证明扩张假设 - 一种与IID的非膨胀而易于学习的链接函数样本 - 任何方法都需要指数呈现许多样本（相对于X_T $的维度）来自动态系统。我们通过验证我们的结果。仿真并证明SGD的天真应用可以高度次优。实际上，我们的工作表明，对于相关的数据，专门用于数据中的依赖结构的专用方法可以显着优于基于标准的SGD方法。

我们考虑通过流算法从单个轨迹估计线性时间不变（LTI）动态系统的问题，这在包括增强学习（RL）和时间序列分析的若干应用中遇到。虽然LTI系统估计问题在{\ em离线}设置中进行了很好地研究，但实际上重要的流媒体/在线设置很少受到关注。如随机梯度下降（SGD）等标准流动方法不太可能起作用，因为流点可以高度相关。在这项工作中，我们提出了一种新颖的流媒体算法，SGD具有反向体验的重播（$ \ MATHSF {SGD} - \ MATHSF {RER），这是由RL文献中流行的体验重播（ER）技术的启发。 $ \ mathsf {sgd} - \ mathsf {rer} $划分为小缓冲区，并在存储在单个缓冲区中的数据后向后运行SGD。我们表明该算法精确地解构了依赖结构，并获得了从理论上最佳保证的信息，用于参数误差和预测误差。因此，我们提供了我们的第一至最佳的知识 - 最佳的SGD风格算法，用于使用一阶Oracle的线性系统识别的经典问题。此外，$ \ mathsf {sgd} - \ mathsf {rer} $可以应用于具有已知稀疏模式和非线性动态系统的稀疏LTI识别的更多常规设置。我们的工作表明，数据依赖性结构的知识可以帮助我们在统计上和计算上的算法设计中，这些算法可以“去相关”流样本。